Как я и планировал, продолжаю толкать темку с reinforcement learning from human feedback в стихах и диалогах. После месяца экспериментов, в основном неудачных, наметились некоторые положительные подвижки, про которые я сейчас и хочу рассказать.

Итак, я делаю эксперименты в своеобразной песочнице - на задаче перефразировки. Для нее у меня есть и ( Read more... )

Используется размеченный treebank отсюда: http://universaldependencies.org
Reinforcement learning делается средствами keras-rl
Парсер - простая стековая машина, не поддерживающая непроективные ребра.
Эксперимент пока неудачный, не могу добиться роста качества парсинга.
Питоновский исходник выложил здесь: https://github.com/Koziev/RI_Syntax

Модель буквально боиться сделать следующий лаг, покачиваясь в нерешительности:
( NIPS 2017 очередная модель... )

Подготовил новую модель для соревнования "NIPS 2017: Learning to Run (Reinforcement learning environments with musculoskeletal models)", организатором которого является Stanford Neuromuscular Biomechanics Laboratory:
( Умчался вдаль, гремя костями (видео)... )

Засабмитил своего киборга сюда https://www.crowdai.org/challenges/nips-2017-learning-to-run/leaderboards
Теперь надо попробовать улучшить устойчивость, а именно научить не падать после первого шага. Добиться, что модель делала шаги поменьше, не задирала ноги выше того, что раньше было ушами.

( Кто шагает дружно в ряд? Странных киборгов отряд! )

В рамках задачи NIPS 2017: Learning to Run разбираюсь с reinforcement learning. Суть задачи - кинематическая модель человеческого тела (скелет+мускулы нижней части) должна пройти как можно дальше.
( Ходячие мертвецы... )

Цитата из "Learning Invariances from Transformation Sequences" by Peter Foldiak по поводу решения задачи формирования модели с нечувствительностью к пространственным модификациям (повороты, сдвиги и т.д.):
( модифицированное правило Хебба... )

Одноглазый - потому что пока в модели подключена только одна "сетчатка". Две сетчатки с соответствующей геометрией оптики дают стереозрение (точнее создают предпосылки для восприятия информации о глубине сцены), но я пока не знаю, как правильно учесть disparity изображения объекта на двух сетчатках ( Read more... )